package rddSummary.transition.value_type

import org.apache.spark.{SparkConf, SparkContext}

object test_filter {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("test").setMaster("local")
    val context = new SparkContext(conf)

    val dates = context.makeRDD(List(1,2,3,4),1)

    /**
     * 将数据根据指定的规则进行筛选过滤，符合规则的数据保留，不符合规则的数据丢弃。
     * 当数据进行筛选过滤后，分区不变，但是分区内的数据可能不均衡，生产环境下，可能会出
     * 现数据倾斜。
     */
    val value = dates.filter(
      _ % 2 == 0
    )

    value.collect().foreach(println)

    context.stop()
  }

}
